跳转至

代理验证的 LLM 用户体验微模拟：早期决策支持的构件优先协议

文章背景与核心概要

在产品开发的早期阶段，产品团队往往因为时间紧迫、预算有限以及难以触达真实用户，而在开展用户体验（UX）研究时面临巨大障碍。本文引入了一种由大语言模型（LLM）驱动的用户体验微模拟流水线，旨在提供可落地、以决策为导向的反馈。通过利用版本化的提示词、角色画像、任务和界面（UI）快照，该系统能够生成结构化的见解，包括操作步骤、摩擦点以及微型调查信号。

为了克服公开可用性数据集匮乏的问题，作者提出了一种轻量级的代理验证协议。该协议根据应用商店评论、客服推文以及开源软件问题中的真实世界数据，来验证模拟出的摩擦主题。这项研究为迭代式的提示词和分类法优化提供了一个强健的框架，使团队能够在投入最终的付费模型校准之前，验证其用户体验决策。

代理验证的 LLM 用户体验微模拟：早期决策支持的构件优先协议 (Proxy-Validated LLM UX Micro-Simulations: An Artifact-First Protocol for Early-Stage Decision Support)

作者： Alexandre Cristovão Maiorano
日期： 2026年6月3日
主题： 人机交互 (cs.HC)；人工智能 (cs.AI)；软件工程 (cs.SE)
DOI： 10.48550/arXiv.2608.13563

摘要 (Summary)

Early-stage product teams often face significant hurdles in conducting UX research due to limited time, budget, and access to users. This paper introduces an LLM-driven UX micro-simulation pipeline designed to provide actionable, decision-oriented feedback. By leveraging versioned prompts, personas, tasks, and UI snapshots, the system generates structured insights—including walkthrough steps, friction points, and micro-survey signals.

To overcome the scarcity of public usability datasets, the author proposes a lightweight proxy-validation protocol. This protocol validates simulated friction themes against real-world data from app reviews, support tweets, and open-source software issues. The research provides a robust framework for iterative prompt and taxonomy refinement, enabling teams to validate UX decisions before committing to final, paid-model calibrations.

在产品开发的早期阶段，产品团队往往因为时间紧迫、预算有限以及难以触达真实用户，而在开展用户体验（UX）研究时面临巨大障碍。本文引入了一种由大语言模型（LLM）驱动的用户体验微模拟流水线，旨在提供可落地、以决策为导向的反馈。通过利用版本化的提示词、角色画像、任务和界面（UI）快照，该系统能够生成结构化的见解，包括操作步骤、摩擦点以及微型调查信号。

为了克服公开可用性数据集匮乏的问题，作者提出了一种轻量级的代理验证协议。该协议根据应用商店评论、客服推文以及开源软件问题中的真实世界数据，来验证模拟出的摩擦主题。这项研究为迭代式的提示词和分类法优化提供了一个强健的框架，使团队能够在投入最终的付费模型校准之前，验证其用户体验决策。

核心贡献 (Key Contributions)

  • Proxy-Validation Protocol: Introduces two alignment metrics—top-k Jaccard and distributional weighted-Jaccard (W)—to measure the accuracy of simulated UX feedback against external proxy corpora.
  • Comparative Analysis: Evaluates lexical, TF-IDF, and multilingual embedding baselines across six distinct proxy datasets, demonstrating that embedding-based alignment significantly outperforms traditional lexical methods.
  • Agent Strategy Ablation: Compares four distinct agent strategies (single-pass, best-of-N, hybrid, and a score-then-select judge) to determine the most effective approach for generating reliable UX signals.
  • Failure-Mode Analysis: Provides a detailed examination of grounding and fabrication issues, including calibration caveats and examples of outputs flagged by an adversarial judge.
  • Artifact-First Workflow: Establishes a reproducible pipeline that generates versioned tables and figures, facilitating transparent and iterative UX decision-making.
  • 代理验证协议： 引入了两个对齐指标——top-k Jaccard 和 分布加权 Jaccard (W)——用于衡量模拟的用户体验反馈与外部代理语料库的准确性。
  • 对比分析： 在六个不同的代理数据集上评估了词汇、TF-IDF 和多语言嵌入基线，证明了基于嵌入的对齐显著优于传统的词汇方法。
  • 智能体策略消融实验： 比较了四种不同的智能体策略（单次通过、最优-N、混合以及评分后选择的裁判），以确定生成可靠用户体验信号的最有效方法。
  • 失效模式分析： 详细检查了基础对齐和虚构（幻觉）问题，包括校准注意事项以及被对抗性裁判标记的输出示例。
  • 构件优先工作流： 建立了一个可复现的流水线，可生成版本化的表格和图表，从而促进透明且迭代的用户体验决策。

技术元数据 (Technical Metadata)

Attribute Details
arXiv ID 2608.13563
Format 27 pages, 5 figures, 15 tables
Full-Text PDF | HTML (Experimental)
Source TeX Source
属性 详情
arXiv ID 2608.13563
格式 27 页, 5 张图表, 15 个表格
全文 PDF | HTML (实验性)
源码 TeX 源码

访问与引用 (Access & Citations)